本章概述 创建CephFS 验证CephFS 创建普通用户 客户端准备工作 挂载ceph-fs ceph mds高可用 通过 ganesha 将 cephfs 导出为 NFS 前言 ceph FS 即 ceph filesystem,可以实现文件系统共享功能(符合POSIX标准),客户端通过 ceph 协议挂载并使用 ceph 集群作为数据存储服务器。 官网链接:https://docs.ceph.com/en/quincy/cephfs/ C…
本章概述 创建CephFS 验证CephFS 创建普通用户 客户端准备工作 挂载ceph-fs ceph mds高可用 通过 ganesha 将 cephfs 导出为 NFS 前言 ceph FS 即 ceph filesystem,可以实现文件系统共享功能(符合POSIX标准),客户端通过 ceph 协议挂载并使用 ceph 集群作为数据存储服务器。 官网链接:https://docs.ceph.com/en/quincy/cephfs/ C…
本章概述 RBD 架构图 创建存储池 创建 img 镜像 配置客户端使用 RBD 镜像快照 6.1 RBD 架构图 Ceph 可以同时提供对象存储 RADOSGW、块存储 RBD、文件系统存储 Ceph FS,RBD 即RADOS Block Device 的简称,RBD 块存储是常用的存储类型之一,RBD 块设备类似磁盘可以被挂载,RBD 块设备具有快照、多副本、克隆和一致性等特性,数据以条带化的方式存储在 Ceph 集群的多个 OSD 中。 条带化技术就是一种自动的将 I/O 的负载均衡…
本章概述 授权流程 访问流程 ceph用户 ceph授权和使能 ceph用户管理 秘钥环管理 前言 Ceph 使用 cephx 协议对客户端进行身份认证。 cephx 用于对 ceph 保存的数据进行认证访问和授权,用于对访问 ceph 的请求进行认证和授权检测,与 mon 通信的请求都要经过 ceph 认证通过,但是也可以在 mon 节点关闭 cephx认证,但是关闭认证之后任何访问都将被允许,因此无法保证数据的安全性。 备注:mon服务器负责ceph集群的认证 5…
本章概述 块设备 ceph radosgw(RGW)对象存储网关 Ceph-FS文件存储 Ceph集群维护 Ceph配置文件 存储池、PG与CRUSH PG的状态 数据读写流程 存储池操作 存储池快照 数据压缩 4.1 块设备 RBD(RADOS Block Devices)即为块存储的一种,RBD 通过 librbd 库与 OSD 进行交互,RBD为 KVM 等虚拟化技术和云服务(如 OpenStack 和 CloudStack)提供高性能和无限可扩展性的存储后端,这些系统依赖于 libv…
本章概述 部署方式 服务器准备 系统环境初始化 部署RADOS集群 扩展ceph集群实现高可用 前言 github链接:https://github.com/ceph/ceph ceph官网简要部署过程:http://docs.ceph.org.cn/install/manual-deployment/ 注意:在ceph集群部署时要注意操作系统的选择 查看ceph版本历史:https://docs.ceph.com/en/latest/releases/index.html 查看ceph 15即octopus 版本…
本章概述 Ceph发展史 Ceph的设计思想 Ceph的版本历史 集群角色定义 逻辑组织架构 ceph元数据保存方式 Ceph CRUSH算法简介 前言 Ceph 是一个开源的分布式存储系统,同时支持对象存储、块设备、文件系统。 ceph支持EB(1EB=1,000,000,000GB)级别的数据存储,ceph把每一个待管理的数据流(文件等数据)切分为一到多个固定大小(默认4兆)的对象数据,并以其为原子单元(原子是构成元素的最小单元)完成数据的读写。 &e…
本章概述 存储分类 常见存储类型 分布式存储对比 不同的存储类型的适用场景 分布式存储数据特性 1.1 存储分类 1、单机存储: SCSI/IDE/SATA//SAS/USB/PCI-E/SSD/M.2 NVME 协议(提升性能) 英特尔SSD:https://item.jd.com/49620677951.html#crumb-wrap 2、网络存储(带文件系统): NFS Samba NAS …
本章概述 prometheus本地存储简介 远端存储--victoriametrics 前言 Prometheus 有着非常高效的时间序列数据存储方法,每个采样数据仅仅占用3.5byte左右空间,假设上百万条时间序列,每30秒间隔采集一次,保留60天,大概只占用200多G空间(引用官方数据)。 注意:prometheus监控数据默认每15s采集一次,默认数据保留15天(15天之前的数据会滚动删除) 11.1 prometheus本地存储简介 默认情况下,prometh…
本章概述 node节点部署node_exporter prometheus联邦节点监控node_exporter 修改prometheus联邦节点配置文件 联邦节点监控数据验证 prometheus server采集联邦节点数据 联邦server监控数据验证 前言 如果prometheus需要采集的服务器过多,会导致prometheus server节点压力过大,降低服务器性能。为了分担server节点的压力,可以配置prometheus联邦集群。 Prometheu…
本章概述 pushgateway简介 部署pushgateway 修改prometheus配置采集pushgateway数据 测试从客户端推送单条数据 自定义收集数据 前言 github链接:https://github.com/prometheus/pushgateway 9.1 pushgateway简介 pushgateway 是采用被动推送的方式,而不是类似于 prometheus server 主动连接 exporter 获取监控数据。 pushgatewa…